Cao Văn Lầu sinh ra tại xóm Cái Cui, làng Chí Mỹ, sau sáp nhập với làng Thuận Lễ trở thành xã Thuận Mỹ, huyện Vàm Cỏ, tỉnh Long An.

Khi Cao Văn Lầu vừa tròn sáu tuổi (năm 1896), cha là Chín Giỏi (tên thật là Cao Văn Giỏi, 1860-1938) vì nghèo, vì bị áp bức nên đã cùng vợ và sáu đứa con nhỏ xuống ghe, tìm đất khác sinh sống.

Buổi đầu, ông Chín Giỏi đến tá túc trên đất của một người bà con ở Gia Hội (Bạc Liêu). Sau 9 tháng đi làm mướn cật lực mà không đủ ăn, gia đình ông lại phải dời sang Xà Phiên (nay thuộc Long Mỹ, tỉnh Hậu Giang), khẩn hoang làm ruộng.

Khoảng một năm sau, hơn 40 công đất, nhờ khó nhọc mới có được, bị địa chủ chiếm lấy. Nhờ người giới thiệu, gia đình ông Chín Giỏi dọn về Họng Chàng Bè (Giá Rai, Bạc Liêu) để tiếp tục khẩn hoang, nhưng rồi số đất này về sau cũng về tay người khác.

Xót cảnh trắng tay của ông Giỏi, hương sư Chơn ở làng Vĩnh Lợi tổng Thạnh Hòa, cho ông cất một căn chòi lá ở trên đất công điền gần chùa Vĩnh Phước An (nay thuộc phường 2, thị xã Bạc Liêu). Ở đó, vợ chồng ông và các con phải đi làm thuê, đi câu để chạy ăn từng bữa.

Hòa thượng Minh Bảo (? - 1912), trụ trì chùa Vĩnh Phước An, thấy gia đình ông Chín Giỏi vất vả quá mà không đủ ăn, nên đề nghị cho Cao Văn Lầu, lúc đó mới 8 tuổi, vào chùa ở để chia sẻ gánh nặng. Kể từ đó chú bé Lầu, vừa kinh kệ, vừa được nhà sư dạy chữ Nho.

Năm 1903, nhờ cha đến xin, Cao Văn Lầu được phép trở về nhà để học chữ Quốc ngữ. Nhưng chỉ học đến "lớp nhì năm thứ hai" (Cours moyen 2e année) tức lớp 4 ngày nay, thì ông Lầu phải thôi học vì nhà gặp thêm cảnh khó: anh đi ở rể, chị lấy chồng, cha già yếu... Vậy là, năm 17 tuổi, Cao Văn Lầu phải thay cha và anh chị đi làm những việc nặng nhọc để nuôi gia đình.

Lúc bấy giờ tại xóm Rạch Ông Bổn có một thầy đàn nổi tiếng tên Lê Tài Khí, tục gọi Hai Khị hay Nhạc Khị. Ông thầy này bị mù cả hai mắt thêm có tật ở chân [2], nhưng ngón đàn của ông thật điêu luyện[3].

Năm 1908, Cao Văn Lầu nhờ cha dẫn đến thầy Hai Khị để xin học đàn mỗi đêm. Nhờ yêu thích và siêng năng, ông mau chóng sử dụng thành thạo các loại nhạc cụ như đàn tranh, cò, kìm, trống lễ; và trở thành một nhạc sĩ nòng cốt trong ban cổ nhạc của thầy.

Năm 1912, ông bắt đầu đi hát với Sáu Thìn và cô Phấn với bài Tứ đại oán Bùi Kiệm thi rớt.